Osip Mandelstam sinh ở Warszawa, Ba Lan trong một gia đình người Do Thái. Bố là một thương gia nên tuổi nhỏ Mandelstam được sống đầy đủ. Năm 1897 cả gia đình chuyển về Sankt-Peterburg. Từ năm 1900 đến năm 1907 học ở trường trung học Tenishesky, một trong những trường học có xu hướng tiến bộ thời bấy giờ. Từ nhỏ đã tỏ ra ấn tượng với vẻ kiến trúc hài hòa của Sankt-Peterburg qua cuộc sống của cộng đồng Do Thái.

Năm 1908-1910 học ở Đại học Sorbonne và Đại học Heidelberg. Năm 1911 vào học Đại học Sankt-Peterburg và tốt nghiệp năm 1917.

Năm 1923, sau khi tiếp xúc với nhà cách mạng Nguyễn Ái Quốc, Osif Mandelstam đã nhận xét: "... Nguyễn Ái Quốc thấm đượm chất văn hóa – không phải thứ văn hóa châu Âu, có lẽ đấy là nền văn hóa của tương lai...".

Mandelstam bắt đầu sự nghiệp thơ ca như một nhà thơ của phái hình tượng, chịu ảnh hưởng của Sologub và Tyutchev. Cuối năm 1912 tham gia phái Asmeist, kết bạn với Anna Akhmatova, Nicolai Gumilyov, xuất bản tập thơ đầu Камень (Đá, ba ấn bản: 1913, 1916, 1922). Thời kỳ Chiến tranh thế giới thứ nhất và Cách mạng tháng Mười (1916-1920) Mandelstam hoàn thành tập thơ thứ hai Tristia, xuất bản năm 1922, năm 1923 in lại dưới tên Quyển sách thứ hai đề tặng Nazezhda Khazina, vợ của nhà thơ. Những năm 1925-1930 Mandelstam chỉ viết văn, năm 1930 bắt đầu quay lại với thơ.

Tháng 11 năm 1933 ông viết bài thơ Мы живем, под собою не чуя страны... (Ta sống đây mà không cảm thấy đất nước mình...) chỉ trích Stalin nên bị bắt vào trại cải tạo ở Voronezh. Tháng 5 năm 1937 được ra trại Voronezh. Năm sau lại bị bắt đi cải tạo ở vùng Viễn Đông. Mandelstam mất ngày 27 tháng 12 năm 1938 trong trại cải tạo ở Vladivostok.